Родился Олег в Джезказгане (Казахстан) в семье военного. Детство Олега было бедным, но не менее радостным от того: он играл в футбол, и ничто не предсказывало будущей большой известности в качестве актера. Затем семья переехала в Саратов, а в 1958 году Олег поселился вместе с братом в Минске. Желание связать свою судьбу с актерской деятельностью в биографии Олега Янковского пришло от брата: он также был актером. Он же способствовал дебюту Олега на сцене еще в школьные годы. Образование Олег получил в Саратове, там он в 1965 году окончил театральное училище. В том же году стал играть в драматическом театре Саратова. Женился на Людмиле Зориной еще во время обучения.
Первая роль в кино в биографии Янковского была сыграна в 1968 году – в фильме «Щит и меч». Следующий фильм актера Янковского – «Служили два товарища». Превосходно сыграв семь разноплановых ролей в театре Саратова, он в 1973 году стал выступать в «Ленкоме». Среди других известнейших фильмов Янковского – «Сентиментальный роман», «Мой ласковый и нежный зверь», «Обыкновенное чудо», «Тот самый Мюнхгаузен», «Приключения Шерлока Холмса и доктора Ватсона», «Два гусара», «Доктор Живаго», «Стиляги» и многие другие.
В 2000 году в биографии Янковского состоялся режиссерский дебют («Приходи на меня посмотреть»). Актер обладает многими орденами и наградами, в 1991 году получил звание народного артиста СССР.
В январе 2009 года физическое состояние Янковского ухудшилось. Он временно передал некоторые свои роли в «Ленкоме» дублерам. Болезнь Янковский лечил в Германии, а в начале февраля 2009 снова вернулся в Москву. Великий актер предстал на сцене в роли Жевякина и продолжал радовать поклонников. В апреле 2009 года у актера вновьначалось ухудшение состояния, его госпитализировали с внутренними кровотечениями.
20 мая артиста не стало. Церемония прощания состоялась в театре «Ленком» 22 мая. Его похоронили на Новодевичьем кладбище. В местах, тесно связанных с биографией Олега Янковского, были установлены мемориальные доски и памятники.